Lo sợ vì sự củng cố mới của Mạc phủ Tokugawa dưới sự lãnh đạo sáng suốt mà mạnh mẽ của người chủ mới, các võ sĩ từ Satsuma, Chōshū và Tosa kết liên minh để chống lại chế độ Mạc phủ. Dưới khẩu hiệu '"Tôn Hoàng, Nhương Di" (sonnō jōi) cùng với nỗi sợ hãi về một Tướng quân được mệnh danh là "Ieyasu tái sinh" sẽ tiếp tục tiếm đoạt quyền lực của Thiên hoàng, họ hành động để làm Mạc phủ sụp đổ, mặc dù họ khác nhau trong cách tiếp cận. Đặc biệt, Tosa vừa phải hơn, họ đề xuất một cuộc thương lượng nhờ đó Yoshinobu sẽ từ ngôi Tướng quân, nhưng chủ trì một Hội đồng các Thống đốc Quốc gia bao gồm nhiều daimyo. Cuối cùng, Yamauchi Toyonori, daimyo Tosa, cùng với cố vấn của ông, Gotō Shōjirō, thỉnh cầu Yoshinobu từ ngôi[18] để biến điều này thành hiện thực.

Yoshinobu tuyên bố từ bỏ tước vị Chinh di Đại tướng quân năm 1867, chính thức "trả lại đại quyền" về cho Thiên hoàng.[19] Ông sau đó rời khỏi Kyoto để đến Osaka. Tuy vậy, các phiên Satsuma và Chōshū, trong khi ủng hộ một Hội đồng cai quản các lãnh chúa Đại danh, lại chống lại việc Yoshinobu sẽ lãnh đạo nó.[18] Họ bí mật giành được một chiếu chỉ [18] kêu gọi dùng quân đội đánh lại Yoshinobu (sau này mới biết đó là giả mạo[20]) và đưa một số lượng lớn quân Satsuma và Chōshū đến Kyoto.[21] Có một cuộc họp tại Hoàng cung, ở đó Yoshinobu bị tước mọi danh hiệu và đất đai [22], bất chấp việc ông không làm gì để có thể kết luận đó là sự công kích hay tội lỗi. Bất kỳ ai có thể chống lại việc đó đều không có mặt trong cuộc họp.[21] Yoshinobu chống lại động thái đó, và soạn một bức thư phản đối gửi đến triều đình [23]; với sự thúc giục của những người từ Aizu, Kuwana, va các phiên khác, và với tình hình có một số lượng lớn quân Satsuma và Chōshū tại Kyoto, ông gửi đi kèm một số quân lớn để chuyển bức thư đến triều đình.[24]

Khi quân đội Tokugawa đến ngoại ô Kyoto, họ bị từ chối cho vào, và bị quân đội Satsuma và Choshu tấn công, mở đầu Trận Toba-Fushimi, trận đánh đầu tiên trong Chiến tranh Boshin.[25] Mặc dù quân đội Tokugawa có lợi thế rõ ràng về số lượng, Yoshinobu từ bỏ quân đội mình vào giữa trận đánh, và chạy đến Edo[26]. Ông tự đặt mình vào thế giam cầm, và tỏ ý khuất phục triều đình. Tuy vậy, một thỏa ước hòa bình đạt được theo đó Tayasu Kamenosuke, chi trưởng một chi của gia đình Tokugawa, được nhận làm con nuôi và trở thành tộc trưởng của nhà Tokugawa[27]; thành Edo được trao cho quân đội triều đình[28] và thành phố tránh được họa chiến tranh.

Cùng với Kamenosuke (nay lấy tên là Tokugawa Iesato), Yoshinobu chuyển đến Shizuoka, nơi Tokugawa Ieyasu, người sáng lập Mạc phủ Tokugawa đã an dưỡng tuổi già vài thế kỷ trước đó. Iesato được phong làm đại danh của phiên Shizuoka mới, nhưng mất tước hiệu này vài năm sau đó khi hệ thống phiên bị giải thể.

Nhiều hatamoto cũng đến định cư ở Shizuoka; một phần lớn trong số họ không tìm được những cách thức để nuôi sống bản thân mình. Kết quả là, nhiều người trong số họ bất mãn với Yoshinobu, một số còn tới mức muốn ông phải chết.[29] Tokugawa Yoshinobu nhận thức được điều này và lo sợ về một cuộc ám sát đến nỗi ông sắp xếp lại giấc ngủ của mình để đánh lừa một tên sát thủ có thể tới.[30]